home *** CD-ROM | disk | FTP | other *** search
/ Total Network Tools 2002 / NextStepPublishing-TotalNetworkTools2002-Win95.iso / Archive / Misc Servers / Zope.exe / STRUCTUREDTEXT.PY < prev    next >
Encoding:
Python Source  |  2000-11-10  |  29.5 KB  |  837 lines
  1. #! /usr/bin/env python -- # -*- python -*-
  2. ##############################################################################
  3. # 
  4. # Zope Public License (ZPL) Version 1.0
  5. # -------------------------------------
  6. # 
  7. # Copyright (c) Digital Creations.  All rights reserved.
  8. # 
  9. # This license has been certified as Open Source(tm).
  10. # 
  11. # Redistribution and use in source and binary forms, with or without
  12. # modification, are permitted provided that the following conditions are
  13. # met:
  14. # 
  15. # 1. Redistributions in source code must retain the above copyright
  16. #    notice, this list of conditions, and the following disclaimer.
  17. # 
  18. # 2. Redistributions in binary form must reproduce the above copyright
  19. #    notice, this list of conditions, and the following disclaimer in
  20. #    the documentation and/or other materials provided with the
  21. #    distribution.
  22. # 
  23. # 3. Digital Creations requests that attribution be given to Zope
  24. #    in any manner possible. Zope includes a "Powered by Zope"
  25. #    button that is installed by default. While it is not a license
  26. #    violation to remove this button, it is requested that the
  27. #    attribution remain. A significant investment has been put
  28. #    into Zope, and this effort will continue if the Zope community
  29. #    continues to grow. This is one way to assure that growth.
  30. # 
  31. # 4. All advertising materials and documentation mentioning
  32. #    features derived from or use of this software must display
  33. #    the following acknowledgement:
  34. # 
  35. #      "This product includes software developed by Digital Creations
  36. #      for use in the Z Object Publishing Environment
  37. #      (http://www.zope.org/)."
  38. # 
  39. #    In the event that the product being advertised includes an
  40. #    intact Zope distribution (with copyright and license included)
  41. #    then this clause is waived.
  42. # 
  43. # 5. Names associated with Zope or Digital Creations must not be used to
  44. #    endorse or promote products derived from this software without
  45. #    prior written permission from Digital Creations.
  46. # 
  47. # 6. Modified redistributions of any form whatsoever must retain
  48. #    the following acknowledgment:
  49. # 
  50. #      "This product includes software developed by Digital Creations
  51. #      for use in the Z Object Publishing Environment
  52. #      (http://www.zope.org/)."
  53. # 
  54. #    Intact (re-)distributions of any official Zope release do not
  55. #    require an external acknowledgement.
  56. # 
  57. # 7. Modifications are encouraged but must be packaged separately as
  58. #    patches to official Zope releases.  Distributions that do not
  59. #    clearly separate the patches from the original work must be clearly
  60. #    labeled as unofficial distributions.  Modifications which do not
  61. #    carry the name Zope may be packaged in any form, as long as they
  62. #    conform to all of the clauses above.
  63. # 
  64. # 
  65. # Disclaimer
  66. # 
  67. #   THIS SOFTWARE IS PROVIDED BY DIGITAL CREATIONS ``AS IS'' AND ANY
  68. #   EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  69. #   IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  70. #   PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL DIGITAL CREATIONS OR ITS
  71. #   CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  72. #   SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  73. #   LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF
  74. #   USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  75. #   ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  76. #   OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  77. #   OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  78. #   SUCH DAMAGE.
  79. # 
  80. # 
  81. # This software consists of contributions made by Digital Creations and
  82. # many individuals on behalf of Digital Creations.  Specific
  83. # attributions are listed in the accompanying credits file.
  84. # 
  85. ##############################################################################
  86. '''Structured Text Manipulation
  87.  
  88. Parse a structured text string into a form that can be used with 
  89. structured formats, like html.
  90.  
  91. Structured text is text that uses indentation and simple
  92. symbology to indicate the structure of a document.  
  93.  
  94. A structured string consists of a sequence of paragraphs separated by
  95. one or more blank lines.  Each paragraph has a level which is defined
  96. as the minimum indentation of the paragraph.  A paragraph is a
  97. sub-paragraph of another paragraph if the other paragraph is the last
  98. preceding paragraph that has a lower level.
  99.  
  100. Special symbology is used to indicate special constructs:
  101.  
  102. - A single-line paragraph whose immediately succeeding paragraphs are lower
  103.   level is treated as a header.
  104.  
  105. - A paragraph that begins with a '-', '*', or 'o' is treated as an
  106.   unordered list (bullet) element.
  107.  
  108. - A paragraph that begins with a sequence of digits followed by a
  109.   white-space character is treated as an ordered list element.
  110.  
  111. - A paragraph that begins with a sequence of sequences, where each
  112.   sequence is a sequence of digits or a sequence of letters followed
  113.   by a period, is treated as an ordered list element.
  114.  
  115. - A paragraph with a first line that contains some text, followed by
  116.   some white-space and '--' is treated as
  117.   a descriptive list element. The leading text is treated as the
  118.   element title.
  119.  
  120. - Sub-paragraphs of a paragraph that ends in the word 'example' or the
  121.   word 'examples', or '::' is treated as example code and is output as is.
  122.  
  123. - Text enclosed single quotes (with white-space to the left of the
  124.   first quote and whitespace or puctuation to the right of the second quote)
  125.   is treated as example code.
  126.  
  127. - Text surrounded by '*' characters (with white-space to the left of the
  128.   first '*' and whitespace or puctuation to the right of the second '*')
  129.   is emphasized.
  130.  
  131. - Text surrounded by '**' characters (with white-space to the left of the
  132.   first '**' and whitespace or puctuation to the right of the second '**')
  133.   is made strong.
  134.  
  135. - Text surrounded by '_' underscore characters (with whitespace to the left 
  136.   and whitespace or punctuation to the right) is made underlined.
  137.  
  138. - Text encloded by double quotes followed by a colon, a URL, and concluded
  139.   by punctuation plus white space, *or* just white space, is treated as a
  140.   hyper link. For example:
  141.  
  142.     "Zope":http://www.zope.org/ is ...
  143.  
  144.   Is interpreted as '<a href="http://www.zope.org/">Zope</a> is ....'
  145.   Note: This works for relative as well as absolute URLs.
  146.  
  147. - Text enclosed by double quotes followed by a comma, one or more spaces,
  148.   an absolute URL and concluded by punctuation plus white space, or just
  149.   white space, is treated as a hyper link. For example: 
  150.  
  151.     "mail me", mailto:amos@digicool.com.
  152.  
  153.   Is interpreted as '<a href="mailto:amos@digicool.com">mail me</a>.' 
  154.  
  155. - Text enclosed in brackets which consists only of letters, digits,
  156.   underscores and dashes is treated as hyper links within the document.
  157.   For example:
  158.     
  159.     As demonstrated by Smith [12] this technique is quite effective.
  160.  
  161.   Is interpreted as '... by Smith <a href="#12">[12]</a> this ...'. Together
  162.   with the next rule this allows easy coding of references or end notes.
  163.  
  164. - Text enclosed in brackets which is preceded by the start of a line, two
  165.   periods and a space is treated as a named link. For example:
  166.  
  167.     .. [12] "Effective Techniques" Smith, Joe ... 
  168.  
  169.   Is interpreted as '<a name="12">[12]</a> "Effective Techniques" ...'.
  170.   Together with the previous rule this allows easy coding of references or
  171.   end notes. 
  172.  
  173.  
  174. - A paragraph that has blocks of text enclosed in '||' is treated as a
  175.   table. The text blocks correspond to table cells and table rows are
  176.   denoted by newlines. By default the cells are center aligned. A cell
  177.   can span more than one column by preceding a block of text with an
  178.   equivalent number of cell separators '||'. Newlines and '|' cannot
  179.   be a part of the cell text. For example:
  180.  
  181.       |||| **Ingredients** ||
  182.       || *Name* || *Amount* ||
  183.       ||Spam||10||
  184.       ||Eggs||3||
  185.  
  186.   is interpreted as::
  187.  
  188.     <TABLE BORDER=1 CELLPADDING=2>
  189.      <TR>
  190.       <TD ALIGN=CENTER COLSPAN=2> <strong>Ingredients</strong> </TD>
  191.      </TR>
  192.      <TR>
  193.       <TD ALIGN=CENTER COLSPAN=1> <em>Name</em> </TD>
  194.       <TD ALIGN=CENTER COLSPAN=1> <em>Amount</em> </TD>
  195.      </TR>
  196.      <TR>
  197.       <TD ALIGN=CENTER COLSPAN=1>Spam</TD>
  198.       <TD ALIGN=CENTER COLSPAN=1>10</TD>
  199.      </TR>
  200.      <TR>
  201.       <TD ALIGN=CENTER COLSPAN=1>Eggs</TD>
  202.       <TD ALIGN=CENTER COLSPAN=1>3</TD>
  203.      </TR>
  204.     </TABLE>
  205.  
  206.     
  207. $Id: StructuredText.py,v 1.27.24.2 2000/11/10 16:55:17 brian Exp $'''
  208. #     Copyright 
  209. #
  210. #       Copyright 1996 Digital Creations, L.C., 910 Princess Anne
  211. #       Street, Suite 300, Fredericksburg, Virginia 22401 U.S.A. All
  212. #       rights reserved.  Copyright in this software is owned by DCLC,
  213. #       unless otherwise indicated. Permission to use, copy and
  214. #       distribute this software is hereby granted, provided that the
  215. #       above copyright notice appear in all copies and that both that
  216. #       copyright notice and this permission notice appear. Note that
  217. #       any product, process or technology described in this software
  218. #       may be the subject of other Intellectual Property rights
  219. #       reserved by Digital Creations, L.C. and are not licensed
  220. #       hereunder.
  221. #
  222. #     Trademarks 
  223. #
  224. #       Digital Creations & DCLC, are trademarks of Digital Creations, L.C..
  225. #       All other trademarks are owned by their respective companies. 
  226. #
  227. #     No Warranty 
  228. #
  229. #       The software is provided "as is" without warranty of any kind,
  230. #       either express or implied, including, but not limited to, the
  231. #       implied warranties of merchantability, fitness for a particular
  232. #       purpose, or non-infringement. This software could include
  233. #       technical inaccuracies or typographical errors. Changes are
  234. #       periodically made to the software; these changes will be
  235. #       incorporated in new editions of the software. DCLC may make
  236. #       improvements and/or changes in this software at any time
  237. #       without notice.
  238. #
  239. #     Limitation Of Liability 
  240. #
  241. #       In no event will DCLC be liable for direct, indirect, special,
  242. #       incidental, economic, cover, or consequential damages arising
  243. #       out of the use of or inability to use this software even if
  244. #       advised of the possibility of such damages. Some states do not
  245. #       allow the exclusion or limitation of implied warranties or
  246. #       limitation of liability for incidental or consequential
  247. #       damages, so the above limitation or exclusion may not apply to
  248. #       you.
  249. #  
  250. #
  251. # If you have questions regarding this software,
  252. # contact:
  253. #
  254. #   Jim Fulton, jim@digicool.com
  255. #
  256. #   (540) 371-6909
  257. #
  258. # $Log: StructuredText.py,v $
  259. # Revision 1.27.24.2  2000/11/10 16:55:17  brian
  260. # Fixed stx to allow ampersand in urls
  261. #
  262. # Revision 1.27.24.1  2000/11/10 16:50:24  brian
  263. # Fixed a typo in STX
  264. #
  265. # Revision 1.27  2000/04/21 13:38:10  jim
  266. # Added closing list tags. Woo hoo!
  267. #
  268. # Revision 1.26  2000/03/14 17:22:04  brian
  269. # Allow ~ in hrefs.
  270. #
  271. # Revision 1.25  2000/02/17 00:53:24  klm
  272. # HTML._str(): We were getting preformatted examples rendered twice,
  273. # second time without preformatting.  Problem was a missing 'continue'
  274. # in one of the cases.
  275. #
  276. # Revision 1.24  1999/12/13 16:32:48  klm
  277. # Incorporated pavlos christoforou's mods to handle simple tables.  From
  278. # his web page at http://www.zope.org/Members/gaaros/StructuredText:
  279. #
  280. #   Structured Text module with table support
  281. #
  282. #   A paragraph that has blocks of text enclosed in '||' is treated as a
  283. #   table. The text blocks correspond to table cells and table rows are
  284. #   denoted by newlines. By default the cells are center aligned. You can
  285. #   change the defaults by modifying the CELL,ROW and TABLE class
  286. #   attributes in class Table. A cell can span more than one column by
  287. #   preceding a block of text with an equivalent number of cell separators
  288. #   '||'. Newlines and '|' cannot be a part of the cell text. If you need
  289. #   newlines use <BR>. For example:
  290. #
  291. #        |||| **Ingredients** ||
  292. #        || *Name* || *Amount* ||
  293. #        ||Spam||10||
  294. #        ||Eggs||3||
  295. #
  296. # Revision 1.23  1999/08/03 20:49:05  jim
  297. # Fixed to allow list elements to introduce examples.
  298. #
  299. # Restructured _str using continue to avoid excessive nesting.
  300. #
  301. # Revision 1.22  1999/08/02 22:01:28  jim
  302. # Fixed a bunch of bugs introduced by making ts_regex actually thread
  303. # safe.
  304. #
  305. # Also localized a bunch of regular expressions
  306. # using "static" variables (aka always default arguments).
  307. #
  308. # Revision 1.21  1999/08/02 13:26:52  jim
  309. # paragraph_divider needs to be a regular (thread-unsafe) regex
  310. # since it gets passed to ts_regex.split, which is thread-safe
  311. # and wants to use regs.
  312. #
  313. # Revision 1.20  1999/07/21 13:33:59  jim
  314. # untabified.
  315. #
  316. # Revision 1.19  1999/07/15 16:43:15  jim
  317. # Checked in Scott Robertson's thread-safety fixes.
  318. #
  319. # Revision 1.18  1999/03/24 00:03:18  klm
  320. # Provide for relative links, eg <a href="file_in_same_dir">whatever</a>,
  321. # as:
  322. #
  323. #   "whatever", :file_in_same_dir
  324. #
  325. # or
  326. #
  327. #   "whatever"::file_in_same_dir
  328. #
  329. # .__init__(): relax the second gsub, using a '*' instead of a '+', so
  330. # the stuff before the ':' can be missing, and also do postprocessing so
  331. # any resulting '<a href=":file_in_same_dir">'s have the superfluous ':'
  332. # removed.  *Seems* good!
  333. #
  334. # Revision 1.17  1999/03/12 23:21:39  klm
  335. # Gratuituous checkin to test my cvs *update* logging hook.
  336. #
  337. # Revision 1.16  1999/03/12 17:12:12  klm
  338. # Added support for underlined elements, in the obvious way (and
  339. # included an entry in the module docstring for it).
  340. #
  341. # Added an entry in the module docstring describing what i *guess* is
  342. # the criterion for identifying header elements.  (I'm going to have to
  343. # delve into and understand the framework a bit better before *knowing*
  344. # this is the case.)
  345. #
  346. # Revision 1.15  1999/03/11 22:40:18  klm
  347. # Handle links that include '#' named links.
  348. #
  349. # Revision 1.14  1999/03/11 01:35:19  klm
  350. # Fixed a small typo, and refined the module docstring link example, in
  351. # order to do a checkin to exercise the CVS repository mirroring.  Might
  352. # as well include my last checkin message, with some substantial stuff:
  353. #
  354. # Links are now recognized whether or not the candidate strings are
  355. # terminated with punctuation before the trailing whitespace.  The old
  356. # form - trailing punctuation then whitespace - is preserved, but the
  357. # punctuation is now unnecessary.
  358. #
  359. # The regular expressions are a bit more complicated, but i've factored
  360. # out the common parts and but them in variables with suggestive names,
  361. # which may make them easier to understand.
  362. #
  363. # Revision 1.13  1999/03/11 00:49:57  klm
  364. # Links are now recognized whether or not the candidate strings are
  365. # terminated with punctuation before the trailing whitespace.  The old
  366. # form - trailing punctuation then whitespace - is preserved, but the
  367. # punctuation is now unnecessary.
  368. #
  369. # The regular expressions are a bit more complicated, but i've factored
  370. # out the common parts and but them in variables with suggestive names,
  371. # which may make them easier to understand.
  372. #
  373. # Revision 1.12  1999/03/10 00:15:46  klm
  374. # Committing with version 1.0 of the license.
  375. #
  376. # Revision 1.11  1999/02/08 18:13:12  klm
  377. # Trival checkin (spelling fix "preceedeing" -> "preceding" and similar)
  378. # to see what pitfalls my environment presents to accomplishing a
  379. # successful checkin.  (It turns out that i can't do it from aldous because
  380. # the new version of cvs doesn't support the '-t' and '-f' options in the
  381. # cvswrappers file...)
  382. #
  383. # Revision 1.10  1998/12/29 22:30:43  amos
  384. # Improved doc string to describe hyper link and references capabilities.
  385. #
  386. # Revision 1.9  1998/12/04 20:15:31  jim
  387. # Detabification and new copyright.
  388. #
  389. # Revision 1.8  1998/02/27 18:45:22  jim
  390. # Various updates, including new indentation utilities.
  391. #
  392. # Revision 1.7  1997/12/12 15:39:54  jim
  393. # Added level as argument for html_with_references.
  394. #
  395. # Revision 1.6  1997/12/12 15:27:25  jim
  396. # Added additional pattern matching for HTML references.
  397. #
  398. # Revision 1.5  1997/03/08 16:01:03  jim
  399. # Moved code to recognize: "foo bar", url.
  400. # into object initializer, so it gets applied in all cases.
  401. #
  402. # Revision 1.4  1997/02/17 23:36:35  jim
  403. # Added support for "foo title", http:/foohost/foo
  404. #
  405. # Revision 1.3  1996/12/06 15:57:37  jim
  406. # Fixed bugs in character tags.
  407. #
  408. # Added -t command-line option to generate title if:
  409. #
  410. #    - The first paragraph is one line (i.e. a heading) and
  411. #
  412. #    - All other paragraphs are indented.
  413. #
  414. # Revision 1.2  1996/10/28 13:56:02  jim
  415. # Fixed bug in ordered lists.
  416. # Added option for either HTML-style headings or descriptive-list style
  417. # headings.
  418. #
  419. # Revision 1.1  1996/10/23 14:00:45  jim
  420. # *** empty log message ***
  421. #
  422. #
  423. #
  424.  
  425. import ts_regex, regex
  426. from ts_regex import gsub
  427. from string import split, join, strip, find
  428.  
  429. def untabify(aString,
  430.              indent_tab=ts_regex.compile('\(\n\|^\)\( *\)\t').search_group,
  431.              ):
  432.     '''\
  433.     Convert indentation tabs to spaces.
  434.     '''
  435.     result=''
  436.     rest=aString
  437.     while 1:
  438.         ts_results = indent_tab(rest, (1,2))
  439.         if ts_results:
  440.             start, grps = ts_results
  441.             lnl=len(grps[0])
  442.             indent=len(grps[1])
  443.             result=result+rest[:start]
  444.             rest="\n%s%s" % (' ' * ((indent/8+1)*8),
  445.                              rest[start+indent+1+lnl:])
  446.         else:
  447.             return result+rest
  448.  
  449. def indent(aString, indent=2):
  450.     """Indent a string the given number of spaces"""
  451.     r=split(untabify(aString),'\n')
  452.     if not r: return ''
  453.     if not r[-1]: del r[-1]
  454.     tab=' '*level
  455.     return "%s%s\n" % (tab,join(r,'\n'+tab))
  456.  
  457. def reindent(aString, indent=2, already_untabified=0):
  458.     "reindent a block of text, so that the minimum indent is as given"
  459.  
  460.     if not already_untabified: aString=untabify(aString)
  461.  
  462.     l=indent_level(aString)[0]
  463.     if indent==l: return aString
  464.  
  465.     r=[]
  466.  
  467.     append=r.append
  468.  
  469.     if indent > l:
  470.         tab=' ' * (indent-l)
  471.         for s in split(aString,'\n'): append(tab+s)
  472.     else:
  473.         l=l-indent
  474.         for s in split(aString,'\n'): append(s[l:])
  475.  
  476.     return join(r,'\n')
  477.  
  478. def indent_level(aString,
  479.                  indent_space=ts_regex.compile('\n\( *\)').search_group,
  480.                  ):
  481.     '''\
  482.     Find the minimum indentation for a string, not counting blank lines.
  483.     '''
  484.     start=0
  485.     text='\n'+aString
  486.     indent=l=len(text)
  487.     while 1:
  488.  
  489.         ts_results = indent_space(text, (1,2), start)
  490.         if ts_results:
  491.             start, grps = ts_results
  492.             i=len(grps[0])
  493.             start=start+i+1
  494.             if start < l and text[start] != '\n':       # Skip blank lines
  495.                 if not i: return (0,aString)
  496.                 if i < indent: indent = i
  497.         else:
  498.             return (indent,aString)
  499.  
  500. def paragraphs(list,start):
  501.     l=len(list)
  502.     level=list[start][0]
  503.     i=start+1
  504.     while i < l and list[i][0] > level: i=i+1
  505.     return i-1-start
  506.  
  507. def structure(list):
  508.     if not list: return []
  509.     i=0
  510.     l=len(list)
  511.     r=[]
  512.     while i < l:
  513.         sublen=paragraphs(list,i)
  514.         i=i+1
  515.         r.append((list[i-1][1],structure(list[i:i+sublen])))
  516.         i=i+sublen
  517.     return r
  518.  
  519.  
  520. class Table:
  521.     CELL='  <TD ALIGN=CENTER COLSPAN=%i>%s</TD>\n'
  522.     ROW=' <TR>\n%s </TR>\n'
  523.     TABLE='\n<TABLE BORDER=1 CELLPADDING=2>\n%s</TABLE>'
  524.     
  525.     def create(self,aPar,td=ts_regex.compile(
  526.         '[ \t\n]*||\([^\0|]*\)').match_group):
  527.         '''parses a table and returns nested list representing the
  528.         table'''
  529.         self.table=[]
  530.         text=filter(None,split(aPar,'\n'))
  531.         for line in text:
  532.             row=[]
  533.             while 1:
  534.                 pos=td(line,(1,))
  535.                 if not pos:return 0
  536.                 row.append(pos[1])
  537.                 if pos[0]==len(line):break
  538.                 line=line[pos[0]:]
  539.             self.table.append(row)
  540.         return 1
  541.  
  542.     def html(self):
  543.         '''Creates an HTML representation of table'''
  544.         htmltable=[]
  545.         for row in self.table:
  546.             htmlrow=[]
  547.             colspan=1
  548.             for cell in row:
  549.                 if cell=='':
  550.                     colspan=colspan+1
  551.                     continue
  552.                 else:
  553.                     htmlrow.append(self.CELL%(colspan,cell))
  554.                     colspan=1
  555.             htmltable.append(self.ROW%join(htmlrow,''))
  556.         return self.TABLE%join(htmltable,'')
  557.  
  558. optional_trailing_punctuation = '\(,\|\([.:?;]\)\)?'
  559. trailing_space = '\([\0- ]\)'
  560. not_punctuation_or_whitespace = "[^-,.?:\0- ]"
  561. table=Table()
  562.  
  563. class StructuredText:
  564.  
  565.     """Model text as structured collection of paragraphs.
  566.  
  567.     Structure is implied by the indentation level.
  568.  
  569.     This class is intended as a base classes that do actual text
  570.     output formatting.
  571.     """
  572.  
  573.     def __init__(self, aStructuredString, level=0,
  574.                  paragraph_divider=regex.compile('\(\n *\)+\n'),
  575.                  ):
  576.         '''Convert a structured text string into a structured text object.
  577.  
  578.         Aguments:
  579.  
  580.           aStructuredString -- The string to be parsed.
  581.           level -- The level of top level headings to be created.
  582.         '''
  583.  
  584.         aStructuredString = gsub(
  585.             '\"\([^\"\0]+\)\":'         # title: <"text":>
  586.             + ('\([-:a-zA-Z0-9_,./?=@#~&]+%s\)'
  587.                % not_punctuation_or_whitespace)
  588.             + optional_trailing_punctuation
  589.             + trailing_space,
  590.             '<a href="\\2">\\1</a>\\4\\5\\6',
  591.             aStructuredString)
  592.  
  593.         aStructuredString = gsub(
  594.             '\"\([^\"\0]+\)\",[\0- ]+'            # title: <"text", >
  595.             + ('\([a-zA-Z]*:[-:a-zA-Z0-9_,./?=@#~&]*%s\)'
  596.                % not_punctuation_or_whitespace)
  597.             + optional_trailing_punctuation
  598.             + trailing_space,
  599.             '<a href="\\2">\\1</a>\\4\\5\\6',
  600.             aStructuredString)
  601.  
  602.         protoless = find(aStructuredString, '<a href=":')
  603.         if protoless != -1:
  604.             aStructuredString = gsub('<a href=":', '<a href="',
  605.                                      aStructuredString)
  606.  
  607.         self.level=level
  608.         paragraphs=ts_regex.split(untabify(aStructuredString),
  609.                                   paragraph_divider)
  610.         paragraphs=map(indent_level,paragraphs)
  611.  
  612.         self.structure=structure(paragraphs)
  613.  
  614.  
  615.     def __str__(self):
  616.         return str(self.structure)
  617.  
  618.  
  619. ctag_prefix="\([\0- (]\|^\)"
  620. ctag_suffix="\([\0- ,.:;!?)]\|$\)"
  621. ctag_middle="[%s]\([^\0- %s][^%s]*[^\0- %s]\|[^%s]\)[%s]"
  622. ctag_middl2="[%s][%s]\([^\0- %s][^%s]*[^\0- %s]\|[^%s]\)[%s][%s]"
  623.         
  624. def ctag(s,
  625.          em=regex.compile(
  626.              ctag_prefix+(ctag_middle % (("*",)*6) )+ctag_suffix),
  627.          strong=regex.compile(
  628.              ctag_prefix+(ctag_middl2 % (("*",)*8))+ctag_suffix),
  629.          under=regex.compile(
  630.              ctag_prefix+(ctag_middle % (("_",)*6) )+ctag_suffix),
  631.          code=regex.compile(
  632.              ctag_prefix+(ctag_middle % (("\'",)*6))+ctag_suffix),
  633.          ):
  634.     if s is None: s=''
  635.     s=gsub(strong,'\\1<strong>\\2</strong>\\3',s)
  636.     s=gsub(under, '\\1<u>\\2</u>\\3',s)
  637.     s=gsub(code,  '\\1<code>\\2</code>\\3',s)
  638.     s=gsub(em,    '\\1<em>\\2</em>\\3',s)
  639.     return s    
  640.  
  641. class HTML(StructuredText):
  642.  
  643.     '''\
  644.     An HTML structured text formatter.
  645.     '''\
  646.  
  647.     def __str__(self,
  648.                 extra_dl=regex.compile("</dl>\n<dl>"),
  649.                 extra_ul=regex.compile("</ul>\n<ul>"),
  650.                 extra_ol=regex.compile("</ol>\n<ol>"),
  651.                 ):
  652.         '''\
  653.         Return an HTML string representation of the structured text data.
  654.  
  655.         '''
  656.         s=self._str(self.structure,self.level)
  657.         s=gsub(extra_dl,'\n',s)
  658.         s=gsub(extra_ul,'\n',s)
  659.         s=gsub(extra_ol,'\n',s)
  660.         return s
  661.  
  662.     def ul(self, before, p, after):
  663.         if p: p="<p>%s</p>" % strip(ctag(p))
  664.         return ('%s<ul><li>%s\n%s\n</li></ul>\n'
  665.                 % (before,p,after))
  666.  
  667.     def ol(self, before, p, after):
  668.         if p: p="<p>%s</p>" % strip(ctag(p))
  669.         return ('%s<ol><li>%s\n%s\n</li></ol>\n'
  670.                 % (before,p,after))
  671.  
  672.     def dl(self, before, t, d, after):
  673.         return ('%s<dl><dt>%s</dt><dd><p>%s</p>\n%s\n</dd></dl>\n'
  674.                 % (before,ctag(t),ctag(d),after))
  675.  
  676.     def head(self, before, t, level, d):
  677.         if level > 0 and level < 6:
  678.             return ('%s<h%d>%s</h%d>\n%s\n'
  679.                     % (before,level,strip(ctag(t)),level,d))
  680.             
  681.         t="<p><strong>%s</strong></p>" % strip(ctag(t))
  682.         return ('%s<dl><dt>%s\n</dt><dd>%s\n</dd></dl>\n'
  683.                 % (before,t,d))
  684.  
  685.     def normal(self,before,p,after):
  686.         return '%s<p>%s</p>\n%s\n' % (before,ctag(p),after)
  687.  
  688.     def pre(self,structure,tagged=0):
  689.         if not structure: return ''
  690.         if tagged:
  691.             r=''
  692.         else:
  693.             r='<PRE>\n'
  694.         for s in structure:
  695.             r="%s%s\n\n%s" % (r,html_quote(s[0]),self.pre(s[1],1))
  696.         if not tagged: r=r+'</PRE>\n'
  697.         return r
  698.     
  699.     def table(self,before,table,after):
  700.         return '%s<p>%s</p>\n%s\n' % (before,ctag(table),after)
  701.     
  702.     def _str(self,structure,level,
  703.              # Static
  704.              bullet=ts_regex.compile('[ \t\n]*[o*-][ \t\n]+\([^\0]*\)'
  705.                                      ).match_group,
  706.              example=ts_regex.compile('[\0- ]examples?:[\0- ]*$'
  707.                                       ).search,
  708.              dl=ts_regex.compile('\([^\n]+\)[ \t]+--[ \t\n]+\([^\0]*\)'
  709.                                  ).match_group,
  710.              nl=ts_regex.compile('\n').search,
  711.              ol=ts_regex.compile(
  712.                  '[ \t]*\(\([0-9]+\|[a-zA-Z]+\)[.)]\)+[ \t\n]+\([^\0]*\|$\)'
  713.                  ).match_group,
  714.              olp=ts_regex.compile('[ \t]*([0-9]+)[ \t\n]+\([^\0]*\|$\)'
  715.                                   ).match_group,
  716.              ):
  717.         r=''
  718.         for s in structure:
  719.  
  720.             ts_results = bullet(s[0], (1,))
  721.             if ts_results:
  722.                 p = ts_results[1]
  723.                 if s[0][-2:]=='::' and s[1]: ps=self.pre(s[1])
  724.                 else: ps=self._str(s[1],level)
  725.                 r=self.ul(r,p,ps)
  726.                 continue
  727.             ts_results = ol(s[0], (3,))
  728.             if ts_results:
  729.                 p = ts_results[1]
  730.                 if s[0][-2:]=='::' and s[1]: ps=self.pre(s[1])
  731.                 else: ps=self._str(s[1],level)
  732.                 r=self.ol(r,p,ps)
  733.                 continue
  734.             ts_results = olp(s[0], (1,))
  735.             if ts_results:
  736.                 p = ts_results[1]
  737.                 if s[0][-2:]=='::' and s[1]: ps=self.pre(s[1])
  738.                 else: ps=self._str(s[1],level)
  739.                 r=self.ol(r,p,ps)
  740.                 continue
  741.             ts_results = dl(s[0], (1,2))
  742.             if ts_results:
  743.                 t,d = ts_results[1]
  744.                 r=self.dl(r,t,d,self._str(s[1],level))
  745.                 continue
  746.             if example(s[0]) >= 0 and s[1]:
  747.                 # Introduce an example, using pre tags:
  748.                 r=self.normal(r,s[0],self.pre(s[1]))
  749.                 continue
  750.             if s[0][-2:]=='::' and s[1]:
  751.                 # Introduce an example, using pre tags:
  752.                 r=self.normal(r,s[0][:-1],self.pre(s[1]))
  753.                 continue
  754.             if table.create(s[0]):
  755.                 ## table support.
  756.                 r=self.table(r,table.html(),self._str(s[1],level))
  757.                 continue
  758.             else:
  759.  
  760.                 if nl(s[0]) < 0 and s[1] and s[0][-1:] != ':':
  761.                     # Treat as a heading
  762.                     t=s[0]
  763.                     r=self.head(r,t,level,
  764.                                 self._str(s[1],level and level+1))
  765.                 else:
  766.                     r=self.normal(r,s[0],self._str(s[1],level))
  767.         return r
  768.         
  769.  
  770. def html_quote(v,
  771.                character_entities=(
  772.                        (regex.compile('&'), '&'),
  773.                        (regex.compile("<"), '<' ),
  774.                        (regex.compile(">"), '>' ),
  775.                        (regex.compile('"'), '"')
  776.                        )): #"
  777.         text=str(v)
  778.         for re,name in character_entities:
  779.             text=gsub(re,name,text)
  780.         return text
  781.  
  782. def html_with_references(text, level=1):
  783.     text = gsub(
  784.         '[\0\n].. \[\([-_0-9_a-zA-Z-]+\)\]',
  785.         '\n  <a name="\\1">[\\1]</a>',
  786.         text)
  787.     
  788.     text = gsub(
  789.         '\([\0- ,]\)\[\([0-9_a-zA-Z-]+\)\]\([\0- ,.:]\)',
  790.         '\\1<a href="#\\2">[\\2]</a>\\3',
  791.         text)
  792.     
  793.     text = gsub(
  794.         '\([\0- ,]\)\[\([^]]+\)\.html\]\([\0- ,.:]\)',
  795.         '\\1<a href="\\2.html">[\\2]</a>\\3',
  796.         text)
  797.  
  798.     return HTML(text,level=level)
  799.     
  800.  
  801. def main():
  802.     import sys, getopt
  803.  
  804.     opts,args=getopt.getopt(sys.argv[1:],'tw')
  805.  
  806.     if args:
  807.         [infile]=args
  808.         s=open(infile,'r').read()
  809.     else:
  810.         s=sys.stdin.read()
  811.  
  812.     if opts:
  813.  
  814.         if filter(lambda o: o[0]=='-w', opts):
  815.             print 'Content-Type: text/html\n'
  816.  
  817.         if s[:2]=='#!':
  818.             s=ts_regex.sub('^#![^\n]+','',s)
  819.  
  820.         r=ts_regex.compile('\([\0-\n]*\n\)')
  821.         ts_results = r.match_group(s, (1,))
  822.         if ts_results:
  823.             s=s[len(ts_results[1]):]
  824.         s=str(html_with_references(s))
  825.         if s[:4]=='<h1>':
  826.             t=s[4:find(s,'</h1>')]
  827.             s='''<html><head><title>%s</title>
  828.             </head><body>
  829.             %s
  830.             </body></html>
  831.             ''' % (t,s)
  832.         print s
  833.     else:
  834.         print html_with_references(s)
  835.  
  836. if __name__=="__main__": main()
  837.